What Limits Does Quantization Place on Dense Top-$k$ Retrieval? A Theoretical Study
量化如何限制密集 top-k 检索？一项理论分析
🧭 密集检索 · 向量量化理论
NTT, Inc.
证明在量化精度下，嵌入维度必须随语料库规模对数增长，打破了无限精度下维度与 N 无关的结论。
📌 工作参考价值（4 点）
- 在电商推荐的大规模向量检索中，若采用标量量化或乘积量化压缩向量，随着商品库增长，需同步提升嵌入维度或量化精度，否则 top-k 检索的完备性会下降。
- 可根据理论关系 $Bd = \Omega(k\ln N)$ 评估当前系统的量化配置是否安全：给定 $N$、$k$ 和每个坐标的比特数 $B$，反推所需最小维度 $d$，作为系统扩展的参考。
- 在 Agent 或 RAG 场景中，若使用向量数据库存储外部记忆或工具描述，量化压缩策略需考虑检索任务复杂度（$k$ 的大小）与记忆条目数 $N$ 的乘积效应，避免精度不足导致的检索失败。
- 提示工程或检索增强流程中，若融合多个量化向量索引（如多级 PQ），推荐根据总比特预算 $Bd$ 分配资源，而非孤立压缩，以维持检索表达力。